http://www.arocmag.com/article/02-2019-04-053.html 


基于 距离 限定 优化 的 人 脸 识别 


HER, 4p E, KER 
(武汉 大 学 计算 机 学 院 , AX 430072) 


摘 要 : 针对 现 有 人 脸 识 别 方法 对 人 脸 角 度 、 表 情 、 姿 态 等 因素 较为 敏感 且 准 确 率 低 的 问题 ， 提 出 了 一 种 基于 距离 限 
定 优化 算法 的 人 脸 识别 模型 。 该 模型 对 人 脸 识别 方法 的 改进 有 两 点 : a) 利 用 LBP 算 子 提取 人 脸 图 像 纹 理 谱 特征 图 ， 然 
后 与 原始 人 脸 图 像 的 R、G、B 通道 进行 融合 ， 将 融合 后 的 图 像 矩 阵 作 为 神经 网 络 的 输入 ,丰富 了 人 脸 的 纹理 特征 ; b) 
对 误差 泡 数 进行 收 进 ， 使 用 阅 值 和 边界 值 约束 特征 向 量 的 距离 ， 对 模型 构建 新 的 优化 目标 ， 使 得 相同 对 象 的 人 脸 图 像 
在 特征 空间 中 具有 和 较 小 的 欧 氏 距离 ， 不 同 对 象 的 人 脸 图 像 在 特征 空间 中 具有 和 较 大 的 欧 氏 距离 。 通 过 在 非 限制 场景 下 的 
LFW 人 脸 库 上 进行 实验 ， 表 明 该 模型 准确 率 分 别 达 到 99.15%， 能 有 效 地 提高 人 脸 识 别 准 确 率 ， 具 有 很 好 的 瘟 棒 性 。 
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Face recognition based on limit distance optimization 


Zhou Shengyang, Zou Hua, Xiao Chunxia 
(School of Computer, Wuhan University, Wuhan 430072, China) 


Abstract: Given the sensitivity of human face angle, expression and attitude as well as the low recognition precision, this paper 
presented a new face recognition algorithm based on distance optimization method. There were two revised points in the 
proposed method: a) The algorithm used the LBP operator to extract the texture map of the face image and then converged it 
with the R, G and B channels of the original image, then the neural network could take the fused image matrix as input, which 
enriched the human face texture features; b) In the processing of training, it reconstructed the loss function to improve the 
performance, made use of the thresold and margin to constrain the distance of the feature vector, and built a new optimization 
target for the model, which could limit the faces of the same person have small euclidean distances and faces of distinct people 
have large distances. Experiments on the unconstrained scenes of the LFW face database show that the accuracy of the model is 
99.15% respectively, indict the model can improve the accuracy of face recognition with strong robustness. 
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别 ， 判 断 是 否 为 相同 个 体 。 传 统 人 脸 识别 方法 在 适用 性 和 准确 
率 上 存在 局 限 性 ， 而 基于 深度 学 习 的 方法 由 于 其 强大 的 特征 学 
随 着 社会 的 发 展 ， 已 经 进入 数字 和 网 络 时 代 ， 信 息 的 安全 。 习 能 力 得 到 了 广泛 的 应 用 ， 在 很 多 人 脸 数据 库 上 的 识别 率 甚至 

性 和 保密 性 越 来 越 受到 人 们 的 重视 ， 传 统 的 身份 认证 方法 难以 。 超过 了 人 了 眼 识别 水 平 。 
满足 人 们 的 要 求 。21 世纪 以 来 ， 大 量 新 型 的 生物 特征 识别 技术 代表 性 的 深度 学 习 人 脸 识 别 方法 有 Conv Net-RBMII, 
重 现 ， 包 括 指纹 识别 、 虹 膜 识别 、DNA 识别 等 。 人 脸 识别 技术 。 “DeepFace 中 等 ， 其 主要 思想 是 使 用 大 量 的 具有 个 体 标签 的 人 脸 
于 具有 非 接触 性 、 易 采集 和 可 靠 性 高 的 特点 ， 在 司法 、 安 保 ”图 像样 本 对 神经 网 络 模型 进行 softmax 训练 ， 然 后 手工 选取 神 
等 领域 得 到 了 广泛 的 应 用 。 如 何 提高 人 脸 识 别 的 效率 和 准确 率 ”经 网 络 中 间 层 的 特征 作为 代表 人 脸 图 像 的 特征 向 量 ， 最 后 度 
成 为 一 个 重要 的 研究 课题 。 特征 向 量 的 关系 来 进行 人 脸 识别 。 虽 然 这 些 方法 在 精度 上 有 
近年 来 ， 深 度 学 习 为 许多 计算 机 视觉 问题 带 来 了 突破 性 的 。 ”很 大 的 提高 ， 但 是 该 类 方法 具有 三 个 明显 的 缺陷 ，a) 中 间 层 
进展 ， 伴 随 着 大 数据 时 代 的 到 来 ， 卷 积 神经 网 络 (CNN) 也 为 人 征 不 具有 直接 性 可， 训练 过 程 没有 显 式 地 对 中 间 层 特征 进行 调 
脸 识别 提供 了 新 思路 。 在 实际 应 用 中 ， 人 脸 识 别 系 统 要 求 能 对 。” 整 ， 因 此 新 图 像 提取 的 特征 向 量 可 能 不 具有 代表 性 ， 因 而 限制 
不 同 表情 、 角 度 、 光 照 等 非 限制 场景 下 的 人 脸 图 像 进行 正确 识 。 了 算法 的 准确 性 ，b) 特 征 向 量 的 度量 方法 需要 人 为 进行 选择 ， 
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具有 不 确定 性 ; 


c) 当 在 大 型 数据 库 上 训 


softmax 类 别 会 相应 增加 , 为 了 保持 特征 的 完整 性 , 中 间 
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增加 了 计算 成 本 。 
为 了 解决 以 上 问题 ， 本 文 提 昌 


脸 识 别 


个 特征 
为 相同 
法 相 
统计 选择 适合 的 中 间 
LBP 人 脸 识别 方法 ， 
特征 医 
光照 不 变性 
使 用 
力 ， 加 快 网 络 
现 。 实 验 结 果 也 表明 
住 确 率 ,对 于 非 限制 场景 下 的 人 
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(principle component ana 
法 首先 利用 
片 投影 到 该 空间 中 ， 计 算 其 特 行 
行 分 类 。 梯度 直方 图 方法 (histrogram oforiented gradient, 
直方 向 的 梯度 ， 并 将 二 维 的 
， 统 计 每 个 像素 点 
得 整 幅 图 像 的 HOG 


WE 
HOG) 
梯度 信息 转换 为 若 3 
在 各 个 方向 的 


用 
特征 向 


间 的 欧式 距离 ， 进 而 比较 人 脸 图 像 的 相似 度 。 


练 神经 网 络 模型 时 ， 


层 神 经 


ERIRE, 


一 种 基于 距离 限定 优化 的 人 
i softmax 中 间 层 结构 ， 而 是 直接 使 
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等 : 于 距离 限定 优化 的 人 脸 识别 


练 完成 后 ， 计 算 特 征 向 量 间 的 加 权 平 方 距离 或 欧 氏 距离 作为 人 
脸 识 别 的 判断 依据 ， 该 方法 在 LFW 人 脸 库 上 达到 97.35% 的 准 
确 率 。 

DeepIDD4 模 型 将 人 脸 图 像 切 分 为 25 个 区 域 块 ， 然 后 提取 
多 尺度 的 人 脸 特 征 向 量 ， 最 后 使 用 级 联 贝 叶 斯 分 类 器 进行 人 脸 
识别 。DeepID 205 对 DeepID 进行 拓展 ， 使 用 识别 信号 和 验证 
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爹 图 像 映 射 为 128 维特 征 向 量 ， 计 算 


J 量 的 欧式 距离 小 于 给 定 的 闵 值 ， 则 判断 两 EA 
之 则 为 不 同 对 象 。 与 上 述 深度 学 习 人 脸 识别 方 
昌 集 影响 ， 也 不 需要 人 为 地 
。 除 此 之 外 ， 本 文 根 据 


比 ， 该 方法 的 网 络 结构 不 受 数 所 


言 号 联合 的 方式 训练 网 络 模型 。 其 中 ， 识 别 信号 为 普通 的 
softmax 分 类 信号 , 用 来 学 习 不 同 对 象 间 的 特征 , 增加 其 特征 向 


人 脸 图 


量 间 的 距离 ， 验 证 信号 为 图 像 对 分 类 信号 ， 用 来 学 习 相 同 对 象 


BARER EA 
结合 神经 网 络 的 4 


竺 点 , 提出 了 将 LBP 人 脸 


合 训练 的 方法 。LBP 人 脸 特 征 


图 具有 


轩 像 的 几何 和 纹理 


经 网 络 的 输入 能 增强 网 络 模型 


FE- 


泛 化 能 


间 的 特征 ， 缩 小 其 特征 向 量 间 的 距离 。 然 后 训练 一 个 联合 贝 叶 
斯 分 类 器 对 特征 向 量 进行 分 类 。DeepID 2 在 LFW 人 脸 库 上 达 
到 了 99.15% 的 准确 率 。 
相 比 于 DeepFace 和 FaceId 模型 ，FaceNet 1 并 没有 使 用 传 
统 的 softmax 方式 进行 学 习 ， 而 是 使 用 一 种 三 元 组 损失 误差 函 
数 (triplet loss) 来 实现 从 图 像 到 特征 向 量 的 编码 ， 然 后 基于 编码 
计算 图 像 对 之 间 的 误差 。 该 模型 使 用 图 像 对 来 训练 网 络 参 数 ， 


EA 
He 14 


的 ; 


的 人 脸 识别 算法 是 主 成 
Ln SERES A. 


份 分 析 法 


的 训练 速度 ， 尤 其 在 数据 量 相对 较 小 的 情况 下 更 
， 本 文 方法 可 以 进一步 提高 人 脸 识别 


丛 图 像 也 具有 很 好 的 鲁 棒 性 。 


该 方 


个 低 维 的 特征 空间 ， 


将 测 


规定 同一 个 人 的 两 幅 图 像 为 正 样 本 ， 不 同人 的 两 幅 图 像 为 负 样 
本 ，FaceNet 的 训练 目标 是 使 得 任意 正 样本 的 图 像 对 之 间 的 欧 
氏 距 离 与 闵 值 之 和 小 于 负 样 本 图 像 对 之 间 的 欧式 距离 。 训 练 
标 表 示 为 
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其 中 : 4 和 了 表示 两 幅 图 像 属于 同一 个 人 ,为 正 样本 ; amn 
表示 两 幅 图 像 属于 不 同人 , 为 负 样 本 ，Cx RERE; x Mx, K 


FE 向量， 最 后 使 用 距离 度量 


如 像 在 水 平方 向 和 竖 ] 


示 两 个 正 样 本 图 像 的 特征 向 量 , x 入, 表示 两 个 负 样 本 图 像 的 
特征 向 量 。 神 经 网 络 的 训练 过 程 为 ， 取 任意 一 幅 人 脸 图 像 ， 随 
机 选择 一 幅 对 应 的 正 样本 图 像 和 负 样 本 图 像 ， 如 果 提取 的 特征 


3 通道 信 Pn 


征 , 参数 化 并 级 联 获 


TH 
成 分 分 析 的 拉 普 拉 
确 率 。 类 似 方法 还 有 
LBP)SI、 线 性 关 
及 多 特征 
需要 人 工 设 计 特 征 提 
的 实验 ， 并 且 难 以 获 了 
表情 、 姿 态 等 信息 较为 敏感 ， 识 别 的 # 
来 说 ， 传 统 的 人 脸 识别 算 沪 
消 除 [ 出 志和 弘 
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FE 向 量 ， 最 后 进行 人 脸 比 对 。 文 献 [7] 提 出 一 种 基于 
斯 特征 映射 算法 ， 极 大 


向 量 之 间 满 足 训练 目标 ， 则 不 计算 误差 ， 反之， 计算 误差 并 使 
用 反 向 梯度 传播 算法 更 新 神经 网 络 参 数 ， 直 到 满足 所 有 的 训练 


维 核 主 
岂 提 高 了 人 脸 识 别 准 


样本 。 模 型 训练 完成 后 , 选取 适当 的 阔 值 7 。 对 任意 两 幅 图 像 ， 
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使 用 FaceNet 模型 分 别提 取 特 征 向 量 并 比较 之 间 欧 氏 距 离 与 区 


1X: (linear discriminant 


里 上 采样 03， 以 增强 人 


的 发 展 , 而 


很 好 的 效果 。 DeepFaceD 是 
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030 个 不 同类 ， 然 后 取 


正 (4096 维 ) 作 为 人 脸 的 特 生 


主要 的 优势 在 于 使 


局 部 二 值 模式 分 类 方法 (local binary pattern, 
analysis，LDAI)DI 以 
h 合 分 类 的 方法 09。 这 些 方法 存在 共同 的 缺点 
取 方 法 ， 在 设计 参数 时 往往 需要 进行 反复 
到 像 高 度 非 线性 的 特征 ， 
EE Rf zt c SE SUL ERR 
到 像 预 处 理 方法 ， 如 阴影 
脸 的 特征 提 
辐 像 分 类 和 特征 提取 方 画 
学 习 的 方法 引入 到 人 脸 识 别 上 ， 
FaceBook 公司 设计 
softmax 分 类 方法 按照 对 象 将 人 脸 图 像 分 为 4 
经 网 络 模型 倒数 第 二 个 全 连接 


， 即 都 


对 人 脸 


一 般 


取 效 果 。 

取得 了 很 好 
取得 了 
的 人 脸 识别 模 


zit 


的 关系 ， 如 果 大 于 7 ， 表 示 两 幅 图 像 为 不 同 对 象 ， 反 之 ， 则 为 
相同 对 象 。FaceNet 模型 的 网 络 结构 独立 于 数据 集 , 且 训 练 过 程 


直接 对 特征 向 量 进行 优化 ， 具 有 较 好 的 解释 性 和 直观 性 ; 缺点 
在 于 三 元 组 训练 方式 对 坏 样 本 敏感 ， 且 训练 完成 后 需要 人 为 统 
计 选 择 合适 的 阐 值 ， 有 具有 不 确定 性 。 


2 ”本 文 算法 


为 了 进一步 提高 人 脸 识别 模型 的 准确 率 ， 本 文 提出 了 一 种 
距离 限定 优化 的 人 脸 识别 模型 ， 并 对 图 像 预 处 理 和 训练 算法 进 
行 改 进 , 主要 有 LBP 特征 图 融合 算法 和 二 元 误差 优化 算法 两 个 
方面 。 

2.1 LBP 特征 图 融合 算法 
LBP 特征 是 一 种 在 灰 度 范围 内 非常 有 效 的 纹理 谱 描 述 符 ， 


用 了 3D 模 


型 


E 以 及 局 部 特征 提取 ， 网 络 模型 训 


有 具 有 分 类 能 力 强 、 光 照 不 变性 的 特点 ， 能 较 好 地 描述 图 像 的 整 
体 和 局 部 特征 。 因 此 ，LBP 特征 被 广泛 应 用 在 模式 识别 领域 ， 
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LBP 算 子 是 一 种 基于 局 


部 模式 的 纹理 算 子 ， 基 本 思想 是 在 


半径 为 R 的 圆 形 邻 域内 , 选取 与 中 心 像素 点 距离 相等 的 PP 个 采 


样 点 g,G —0Q,L--., P—1) 
行 比较 ， 


l, xz 0 
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0, otherwise 


为 
LBP, , = 
用 半径 为 尺 、 采 样 点 为 
果 如 图 1 所 示 。 
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像素 点 8. 的 像素 值 进 


布尔 函数 来 表示 结果 。 纹理 特 征 的 LBP 值 计算 公式 


Q) 


已 来 表示 采样 方式 , 不 同 邻 域 的 结 


图 1 


本 文采 用 
LBP 算 子 提取 图 像 邻 域 特征 


LBP: 


JURE LBP 算 子 


R=2, P = 8 的 LBP 算 子 提取 图 像 的 纹理 特征 ， 


的 运算 过 程 为 如 图 


2 所 示 。 


=s(g0 一 gc)20+s(91 一 gc)21+ 
S(92 一 gc)22 + s(gs 一 gc)23+ 
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图 2 基本 


LBP 算 子 运算 过 程 


融合 后 的 图 像 具 有 更 直观 的 纹理 


信息 ， 因 而 神经 网 络 模型 会 具 


有 更 快 的 收敛 速度 和 更 高 的 准确 
融合 过 程 如 图 3 所 示 。 


LBP 特 征 提 取 


Z. 人 脸 图 像 的 LBP 特征 图 和 


图 3 LBP 特征 提取 与 融合 


2.2 Resnet 网 络 模型 结构 
本 文 使 用 


残 差 神经 网 络 (residual neural network, 


Resnet) 作 


为 人 脸 的 特征 提取 器 ， 将 人 脸 图 像 映 射 为 特征 向 量 。 残 差 神经 
He 等 人 提出 ， 


网 络 是 一 种 改进 的 卷 积 神经 网 络 ， 最 初 


应 | 


JÆ ImageNet 分 类 问题 上 ， 获 得 了 当时 最 高 分 类 准确 率 。 


Resnet 的 优点 在 于 对 神经 网 络 中 间 层 使 / 
化 ] 
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层 连 接 的 方式 ， 
特征 信号 ， 降 低 了 深层 网 络 训练 过 程 中 时 


强 


H 现 梯度 爆炸 或 梯 


Ln 


度 消失 的 风险 ， 从 而 提高 了 模型 分 类 的 准确 率 。 类 似 于 Resnet- 
34 结构 模型 ,综合 考虑 准确 率 和 效率 等 因素 , 本文 设计 的 Resnet 


LBP 特征 图 包含 了 原始 人 脸 图 像 丰富 的 纹理 信息 ， 传 统 的 


LBP 人 脸 识 别 方法 一 般 将 图 像 局 部 的 LBP 特征 串联 起 来 使 用 
该 类 方法 ， 而 是 直接 将 LBP 特征 图 


直方 图 来 表示 ， 本 文 不 使 / 
与 原始 人 脸 图 像 作 通道 融合 。Xi 等 人 09 证 明 


了 将 LBP 特征 图 


作为 神经 网 络 的 输入 可 以 很 好 地 获取 人 脸 的 特征 表达 ， 将 LBP 


特征 转换 为 更 稀 玻 有 效 的 特征 。LBP 特征 图 


有 简单 直观 的 特 


征 表示 方式 ， 而 原始 人 脸 图 像 具 有 更 丰富 的 4 


寺 征 信息 。 


鉴 文献 [16] 的 思想 , 使 用 LBP 特征 图 为 人 脸 图 


本 文 借 
像 构 建 条 件 约束 ， 


神经 网 络 模型 一 共有 20 层 网 络 结构 ， 详 细 参 数 如 表 1 所 示 。 

表 1 本 文 ResNet 结构 参数 
网 络 层 参数 

CI 32x 1X7X2X2 
P2 3X3x2x2 
RB3  3X[322X3X3XI1XI] 
P4 2X2X2X2 
RB5  3X[64X3X3X1 X1] 
P6 2X2X2x2 
RB7  3Xx[I28X3X3X1x1] 
P8 2X2X2x2 
RB9  3Xx[256X3X3X1x1] 
P10 2X2X2X2 

FII Num X 128 


其 中 ，C 表示 卷 积 层 ; P 表示 池 化 层 ; RB 表示 残 差 连接 块 ， 每 


个 残 差 块 


] 


| 
| 
| 
| 
| 
| 
| 
E 


3 个 卷 积 层 和 1 个 池 化 层 连 接 组 成 ; F 表示 全 连接 
屋 。 整 个 神经 网 络 模型 结构 如 图 4 所 示 。 


本 文 模型 结构 


201805.00017v1 
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2.3 Resnet 模型 误差 函数 与 训练 过 程 


Resnet 神经 网 络 模型 可 以 作为 一 种 黑 盒 子 来 使 用 ， 


其 主要 


1E) 


到 特 


j 是 提取 人 脸 图 像 具 有 代表 性 的 特征 向 量 ， 将 人 脸 图 像 映射 


征 空 间 中 。 在 训练 的 初始 


a 


阶段 ， 每 个 特征 向 量 表示 为 


特征 点 ， 所 有 的 特征 点 以 高 斯 
本 节 的 重点 在 于 设计 一 种 训 


类 的 


从 而 对 特征 点 进行 分 类 识别 。 
种 改进 的 二 元 组 误差 优 


特征 点 能 够 逐 


分 布 的 形式 存在 于 特征 空间 中 。 
练 规则 ， 使 得 在 训练 的 过 程 中 ， 同 
j 不 同类 的 特征 点 能 够 逐渐 分 离 ， 


WAS. 


本 文 提 出 


化 算法 的 方法 对 Resnet 


经 


=~- 


网 络 进行 j 


练 。 先 对 人 


MW 医 像 作 如 


定义 : 选取 两 幅 人 脸 


ChinaXiv 合 作 期 刊 
周 胜 阳 ， 等 : 基于 距离 限定 优化 的 人 脸 识别 
正 样本 代表 的 特征 点 会 越 来 越 接近 。 本 文 不 使 用 这 种 方法 ， 主 
要 是 考虑 下 面 两 个 原因 : 

a) 对 于 非 限制 场景 下 的 正 样本 , 图 像 在 光照 、 表 情 、 背 景 等 
方面 有 明显 的 差异 ， 表 现 为 较 大 的 类 内 差距 ， 因 此 提取 的 特征 
向 量 也 应 该 有 少量 的 差异 性 , 而 不 是 简单 地 将 其 距离 优化 为 零 。 

b) 在 大 型 数据 库 中 经 常 出 现 将 负 样 本 标记 为 正 样本 的 情况 ， 
使 用 最 小 化 特征 向 量 距离 的 方法 容易 受 不 好 数据 的 主导 。 

姑 此 ， 本 文 使 用 距离 限制 的 方法 ， 所 有 的 正 样 本 只 需要 小 


于 一 个 距离 闽 值 即 可 ， 而 不 需要 无 限 接 近 
鲁 棒 性 。 另 外 , 将 本 文 改进 的 二 


， 从 而 提高 了 系 


PS 


像 ， 


区 


于 所 
有 负 


T 和 边界 值 11(Z > 1), 则 对 于 所 有 正 样本 的 图 像 对 , 其 特征 


像 代表 不 局 


当 两 幅 图 像 代 表 同 一 个 对 象 时 ， 图 像 对 为 正 样 
对 象 时 ， 
正 样本 ， 其 特征 向 


本 ; 当 两 
像 对 为 负 样 本 。 训 练 的 目标 是 : 对 
应 该 具有 较 小 的 欧 氏 距离 ， 对 于 所 


HL A 


根据 训练 


其 特征 向 量 应 该 
目标 构造 Resnet 模型 的 目标 函 


有 较 大 的 欧 氏 距离 。 
函数 ， 设 定 一 个 净值 


句 量 的 欧 氏 距离 应 该 满足 
2 
xx, «c-m G) 
Abi: x X, 表示 正 样本 的 两 幅 图 像 的 特征 向 量 。 对 于 所 有 
负 样 本 的 图 像 对 ， 其 特征 向 量 的 欧 氏 距离 应 该 满足 
Xa T X (4) 
其 中 : ox, Ux, 表示 负 样本 的 两 幅 图 像 的 特征 向 量 。 由 此 一 来 ， 


图 像 对 可 以 根据 特征 向 量 欧 氏 距离 和 


统 的 


元 组 优化 目标 函数 和 FaceNet?! 


模型 的 优化 目标 函数 进行 对 比 ， 改 变 本 文 二 元 组 优化 的 
数 形式 ， 可 以 推导 出 以 下 关系 : 


2 
X, X, 2 


X =x 


与 FaceNet 的 目标 函数 ( 式 (1)) 做 比较 ， 可 以 发 现 ， 当 
2m-a 时 ， 两 个 目标 函数 一 致 ， 表 示 本 文 的 二 元 组 的 
标 函 数 可 以 推 
本 文 二 元 组 优化 


标 隐 式 包含 


FaceNet 三 元 组 优化 目标 。 另 


标 函 


(6) 


(7) 


设置 
优化 


E 导 出 FaceNet 三 元 组 优化 目标 函数 , 也 就 是 说 ， 


外， 


FaceNet 模型 训练 完成 之 后 ， 需 要 对 测试 样本 进行 统计 
距离 阔 值 ， 从 而 对 新 的 样本 进行 分 类 ， 而 本 文 并 不 需要 重 
BRE, 直接 使 用 训练 过 程 中 的 阔 值 即 可 , 具有 更 直 
特点 。 

根据 优化 目标 ， 可 以 对 Resnet 模型 构建 误差 函 
作为 图 像 对 的 样本 标签 , 了 7=1 表示 图 像 为 正 样 


本 ， 了 =-1 表 


BUT 的 关系 来 进行 分 


类 ， 如 果 小 于 7 ， 则 表示 样本 为 正 样本 :反之 ， 则 为 负 样本 。 
另外 , 边界 值 m 的 作用 主要 是 为 了 在 训练 阶段 更 直观 地 划分 正 
样本 和 负 样 本 ， 如 图 5 所 示 , 使 用 边界 值 m 可 以 进一步 缩小 正 
样本 的 距离 ， 扩 大 负 样 本 的 距离 ， 避 免 样 本 的 距离 与 阔 值 7 大 
过 接近 ， 从 而 出 现 危 险 样本 。 
xX 
Xpo o ^" 
Xa 
(Xa xp) ERE y 
(Xa xn) 负 样本 — m 
图 5 边界 值 TL 对 样本 分 类 的 影响 
对 于 正 样本 , 一 些 方法 直接 最 小 化 其 欧 氏 距离 , 如 MSE 人 
脸 识 别 模型 ， 其 目标 函数 为 
(5) 
该 方法 的 目标 是 最 小 化 正 样本 的 L2 距离 ， 在 训练 过 程 中 


像 为 负 样 本 ， 则 本 模型 的 误差 函数 表示 为 


l = maxf0.7 了 (| 一 zx 一 要 + 站 


|x — xl = sqrt% x, (i)— x 0)} 


误差 函数 表示 ， 本 模型 的 训练 数据 为 图 


像 对 ， 当 两 个 


设置 
新 设 
观 的 


定 了 
zn Ed 


图 像 


的 特征 向 量 之 间 的 欧 氏 距离 满足 给 定 的 优化 
误差 (误差 为 0)， 否 则 将 按照 SGD 优化 方法 更 新 模型 
6 所 示 为 误差 函数 为 特征 点 的 训练 结果 。 


标 时 ， 则 不 


à A 训练 P 


图 6 特 4 


正点 的 优化 结果 


模型 训练 完成 后 , 可 以 使 用 ResNet 模型 对 新 的 图 像 进 
征 提 取 和 分 类 ， 判 断 图 像 对 为 正 样本 或 负 样 本 。 在 对 新 的 
进行 验证 时 , 舍弃 边界 值 m, 保留 阐 值 作为 欧 氏 距离 的 
标准 ， 表 达 式 如 下 : 


计算 


a 


行 特 
图 像 
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1 Ix er 


-1 b> 


3 ”实验 结果 与 分 析 


为 了 验证 本 文人 脸 识别 模型 的 有 效 性 


(9) 


， 以 及 研究 模型 参数 


对 识别 率 的 影响 ， 将 本 文 模型 和 传统 PCA+LDA、CS-LBP09、 


Fisher-Vector 模型 以 及 基于 深度 学 习 昌 
模型 进行 对 比 。 实 验 3 
内 存 ， 软 件 环境 为 64 位 Ubuntu 操 


DeeplId!^!, FaceNetP 
GHz CPU, 2.4 GHz, 4 GB 


f| ConvNet-RBM!! , 
不 境 为 硬件 Intel i5 2.4 


作 系 统 。 


算法 主要 用 


C++ 编程 实现 ， 


实验 过 程 在 Facescrubel?! 


和 LEWA RRR Æ EHT, HP Facescrube 人 脸 库 用 于 对 


"EP 


模型 进行 
3.1 


性 ， 保 持 训练 外 


像 作为 训练 集 ， 


作为 测试 集 ， 贝 


H2, LFW 人 脸 库 | 
FaceScrube 实验 结果 与 分 析 
FaceScrubelU? A j 
像 , 所 有 图 像 均 为 非 限于 
尺寸 大 小 等 变化 。Facescrube 人 脸 库 主要 | 
和 测试 集 不 交叉 的 原则 ， 
50 个 对 象 的 图 像 作 为 验证 集 , 30 个 对 象 的 图 像 
上 1 有 约 90 000 个 训练 图 像 、 


6 000 il 


测试 图 像 。 使 用 


库 包含 530 个 对 象 的 106 863 幅 人 脸 图 
场景 下 采集 的 包括 光照 、 表 情 、 


] 于 与 其 他 模型 进行 对 比 。 


脸 识 别 模型 ， 将 图 


本 数量 远大 于 实际 图 像 数 量 , 其 中 训练 
和 4x10? 对 负 样 本 。 
3.1.1 超 参数 的 选择 

本 文人 脸 识 另 


2.3 节 所 述 的 了 
像 组 合成 图 像 对 进行 训 


申 经 网 络 训练 方法 优化 人 


于 验证 模型 所 
选择 450 个 对 象 的 图 


10 000 幅 验 证 图 


RAN 


| 练 和 测试 ， 则 各 类 样 


集 


约 有 1X10 对 正 样 本 


I 模型 有 两 个 超 参 数 ， 分 别 是 用 于 限制 距离 的 


BET 和 边界 值 1 。 其 中 ， 边 界 值 主要 | 
的 全 过 程 。 阔 值 Z 和 边界 值 m 的 选取 将 
决定 人 脸 识 别 模型 的 准确 率 ， 对 于 任意 正 样本 ， 需 要 使 得 特征 


IET 用 于 训练 和 测试 


样本 ， 需 要 使 得 特征 向 量 之 间 


于 训练 阶段 ， 阐 


向 量 之 间 的 欧 氏 距离 小 于 阔 值 7 与 边界 值 之 差 ; 对 于 任意 负 


的 欧 氏 距离 大 于 阔 值 7 与 边界 值 


11 之 和 。 一 方 
HE), 


Hl 人 脸 特 征 


H 


因此 合理 


IURE T A 


1E) 


是 为 了 进 


这 与 人 脸 的 特 全 


的 准确 率 。 准 


从 图 中 可 以 看 出 ， 


值 ， 边 界 值 过 小 或 过 大 都 会 降低 模型 的 ;# 
时 ， 会 将 正 样本 的 特 生 


步 减 小 正 样本 的 


E CBECK BS Z 
低 模 型 的 准确 率 。 综 合 考虑 以 上 两 种 因素 ， 本 文 设 
ET 和 边界 值 M 组 合 , Ku 


具有 一 定 的 稀疏 性 〈 较 小 的 类 间 差 
应 该 过 大 ; 另 一 方面 ， 边 界 值 1M 的 
E 离 和 增加 负 样 本 的 距离 ， 如 
Rm (üt 7 值 大 小 接近 ， 会 使 得 所 有 正 样本 之 间 的 距离 过 小 ， 
E) 是 不 符合 的 ， 因 此 也 会 降 


HO4xT€20, 005zmc-r, 


LA E EA) B] 
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D 


样本 和 负 样 本 ， 可 能 导致 两 个 不 同 对 象 的 特征 向 量 在 特征 空间 
中 具有 较 小 的 距离 (危险 样本 )。 数 据 表 明 ， 当 选取 T=0.8， 
m — 0.2 时 , 模型 具有 最 高 的 准确 率 , 达到 96.6896, 表明 本 文 


模型 在 FaceScrube 数据 库 有 很 好 的 表现 。 
97 
—Rm— 1-07 
96 ---#--- t=0.75 
—e— t=0.8 
X 95 一 上 t-0.85 
E —s— t-0.9 
mi 94 - m- t=0.95 
一 * 一 t=1.0 
93 0 
92 " a n 
0 0.1 0.2 0.3 0.4 0.5 
边界 值 大 小 


图 7 模型 准确 率 变化 曲线 


3.1.2 LBP 特征 图 融合 
本 文 在 图 像 预 处 理 阶段 使 用 LBP 特征 图 融合 方法 为 人 脸 
图 像 构建 条 件 约束 , 丰富 人 脸 的 纹理 信息 。 本 节 将 在 Facescrube 


人 脸 库 上 证 明 LBP 特征 图 融合 算法 的 有 效 性 。 
设置 ResFace 和 LBP-ResFace 两 个 模型 ， 其 中 ResFace 模 


型 不 使 用 LBP 特征 图 融合 算法 , 直接 将 原始 人 脸 图 像 作为 神经 
网 络 的 输入 。 模 型 的 阐 值 和 边界 值 1 均 设置 为 0.8 和 0.2。 
两 个 模型 的 准确 率 随 模型 的 迭代 次 数 变 化 曲线 如 图 8 所 示 。 


--- 量 --- ResFace 
—e— LBP-ResFace 


4000 


ENG 


1000 2000 3000 5000 6000 


图 8 ”模型 准确 率 对 比 


分 析 图 8 数据 可 知 , 使 用 LBP 特征 图 融合 方法 的 人 脸 识 别 


在 Facescrube 人 脸 库 上 进行 训练 测试 ,最 后 对 ; 
KERIM, HARRE T E (0.7, 1.00 之 间 时 ,模型 具 
确 率 随 闵 值 和 边界 值 变化 的 关系 如 图 7 
随 着 闵 值 的 增加 ， 模 型 的 准确 率 呈 现 
先 增加 后 减 小 的 趋势 , 并 在 z=0.8 时 达到 最 高 。 对 于 固定 的 立 


确 率 进行 排序 。 


T5 


所 示 。 


ES. Cun MESE 


E 向 量 压缩 在 很 小 的 距离 内 ， 违 背 了 人 脸 
较 大 类 内 差距 的 特性 ， 当 边界 值 过 小 时 ， 无 法 进 


步 的 分 离 正 


模型 准确 率 更 高 ， 在 相同 的 训练 样本 和 超 参数 下 ， ResFace 模 
型 最 终 的 准确 率 为 95.55%，LBP-ResFace 模型 最 终 的 准确 率 为 
96.68%， 准 确 率 提高 了 1.13%。 另 外 ，LBP- ResFace 模型 在 训 
练 的 开始 阶段 〈 迭 代 1 000 次 ) 准确 率 高 出 2.48%， 表 明 使 用 
LBP 特征 图 融合 方法 的 模型 具有 更 快 的 优化 速度 ， 从 而 证 明了 
算法 的 有 效 性 。 

使 用 LBP 特征 图 融合 算法 可 以 丰富 原始 人 脸 图 像 的 
将 图 像 的 纹理 特征 更 直观 地 表达 出 来 ， 加 快 神经 网 络 的 收敛 速 
度 。 在 人 脸 的 特征 提取 过 程 中 ， 不 同 的 人 脸 区 域 应 该 具有 不 同 


n 


mk 
cE 
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的 卷 积 权 值 , 使 用 LBP 特征 图 融合 算法 可 以 为 原始 人 脸 图 像 添 
加 这 类 约束 。 另 外 ，LBP 特征 图 具有 光照 不 变 的 特点 ， 可 以 很 
好 地 消除 非 限 制 场景 下 光照 和 阴影 对 分 类 结果 的 影响 ， 提 高 模 
型 的 准确 率 。 
3.2 LFW 实验 结果 与 分 析 

LFWPO 人 脸 库 是 有 美国 马萨诸塞 大 学 计算 机 视觉 实验 室 
采集 的 包括 5 749 个 对 象 的 13233 幅 人 脸 图 像 ， 其 中 4 069 个 
对 象 只 有 一 幅 图 像 ，1 680 个 对 象 有 超过 一 幅 的 图 像 。 该 人 脸 库 
主要 是 为 了 研究 和 比较 在 非 限 制 场景 下 人 脸 识 别 算法 的 准确 率 ， 
已 成 为 学 术 界 和 工业 界 识别 性 能 评价 基准 。 本 文 模型 先 在 
Facescrube05 和 VGG-dataface 人 脸 数 据 库 上 进行 预 训练 ， 然 后 
在 LFW 提供 的 标准 训练 集 上 作 Fine-turning 训练 , 最 后 在 LEW 
标准 测试 集 上 进行 测试 ,为 了 进一步 验证 LBP 特征 图 融合 算法 
的 有 效 性 ， 设 置 Ours-ResFace 和 Ours-LBP-ResFace 两 个 实验 
模型 。 前 者 不 使 用 LBP 特征 图 融合 算法 。 表 2 所 示 为 LFW 人 


Yit 


rel 
H 


脸 库 准确 率 对 比 结果 。 


表 2 LFW 人 脸 识别 率 对 比 
人 脸 识 别 模型 准确 率 % 


PCA+LDA 84.98 
CS-LBPU! 87.46 
Fisher-Vector Faces 93.03 
ConvNet-RBM'! 91.75 
DeepIdU?) 97.45 
FaceNet"! 98.58 
Ours-ResFace 98.63 
Ours-LBP-ResFace 99.15 


表 2 数据 分 析 可 得 : 使 用 本 文 改进 的 二 元 组 误差 函数 训 


练 神经 网 络 模型 的 准确 率 高 于 其 他 误差 函数 训练 方法 ; 使 用 
LBP 特征 图 融合 算法 的 模型 准确 率 有 较 大 提高 ， 说 明 融 合 纹理 
特征 的 图 像 在 神经 网 络 上 具有 更 好 的 特征 表达 。 本 文 模型 结合 
LBP 特征 图 融合 和 优化 二 元 误差 的 方法 训练 神经 网 络 ， 能 进 


步 地 限制 特征 向 量 的 距离 ， 提 取 更 有 效 的 人 脸 特 征 向 量 ， 也 充 
分 体现 了 本 文 两 种 方法 在 人 脸 识别 上 的 优势 。 


4 ”结束 语 


本 文 为 了 提高 人 脸 识 别 算法 的 准确 性 和 和 鲁 棒 性 ， 提 出 一 种 
基于 距离 优化 限定 的 人 脸 识 别 模型 。 首 先 在 图 像 预 处 理 阶 段 将 
LBP 特征 图 与 原始 图 像 融合 ， 为 图 像 添加 纹理 信息 ， 然 后 设计 
一 个 残 差 网 络 模型 ， 将 人 脸 图 像 编码 为 128 维特 征 向 量 ， 并 提 
出 新 的 二 元 误差 函数 训练 神经 网 络 。 实 验 结果 表明 ， 该 算法 更 
行 、 更 有 效 ， 使 用 距离 优化 限定 的 人 脸 识别 算法 ， 增 强 了 表 
示 图 像 特征 的 能 力 ， 且 显著 提高 了 人 脸 识别 率 。 
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